%load_ext pretty_jupyter

import pandas as pd
import os
import numpy as np

os.chdir("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2")

movies = pd.read_csv("Datasets/0.Datasets_Originais/movies.csv")

ratings = pd.read_csv('Datasets/0.Datasets_Originais/ratings.csv')
#ratings = pd.read_csv('Data/Dataset_original/ratings.csv', sep=',', parse_dates=['timestamp'])

tags = pd.read_csv("Datasets/0.Datasets_Originais/tags.csv")
#tags = pd.read_csv("Datasets/0.Datasets_Originais/tags.csv",  sep=',', parse_dates=['timestamp'])

#NÃO SERÁ USADA
#links = pd.read_csv("Data/Dataset_original/links.csv")

genome_tags = pd.read_csv("Datasets/0.Datasets_Originais/genome-tags.csv")

genome_scores = pd.read_csv("Datasets/0.Datasets_Originais/genome-scores.csv")

movies.head()

ratings.head()

links.head()

tags.head()

genome_tags.head()

genome_scores.head()

# Amostragem com 3% dos IDs dos usuários
amostragem1 = np.random.choice(ratings['userId'].unique(),
                                size=int(len(ratings['userId'].unique()) * 0.03),
                                replace=False)

# Filtrar a tabela 'ratings' com os IDs selecionados
amostragem_ratings = ratings.loc[ratings['userId'].isin(amostragem1)]

# Filtrar a tabela 'ratings' com os IDs que NÃO foram selecionados
amostragem_ratings_complementar = ratings.loc[~ratings['userId'].isin(amostragem1)]

# Resumo da tabela com os IDs selecionados
print('Existem {} linhas , {} usuários e {} filmes'
    .format(len(amostragem_ratings),amostragem_ratings['userId'].nunique(),amostragem_ratings['movieId'].nunique()))

# Resumo da  tabela  com os IDs que NÃO foram selecionados
print('Existem {} linhas , {} usuários e {} filmes'
    .format(len(amostragem_ratings_complementar),amostragem_ratings_complementar['userId'].nunique(),amostragem_ratings_complementar['movieId'].nunique()))

amostragem_ratings_complementar.to_pickle("Datasets/1.Datasets_Amostragem/amostragem_ratings_complementar.pickle", compression="gzip")

amostragem_ratings.to_pickle("Datasets/1.Datasets_Amostragem/amostragem_ratings.pickle", compression="gzip")

#amostragem_ratings= pd.read_pickle("Datasets/1.Datasets_Amostragem/amostragem_ratings.pickle", compression="gzip")

del ratings, amostragem_ratings_complementar

movies.head(3)

# Selecionar os "movieId" da tabela "amostragem_ratings"
movieId = np.array(amostragem_ratings['movieId'])

# Filtrar os mesmo de IDs de "amostragem_ratings" na tabela "movies"
movies_amostragem = movies.loc[movies['movieId'].isin(movieId)]

movies_amostragem

# Salvar a tabela "movies_amostragem"
movies_amostragem.to_pickle("Datasets/1.Datasets_Amostragem/movies_amostragem.pickle", compression="gzip")

del movies

tags.head()

amostragem_ratings.head()

# Selecionar as colunas de interesse
amostragem_ratings1 = amostragem_ratings[['userId', 'movieId']]

# Filtrar a tabela "tags"
tags_amostragem = amostragem_ratings1.merge(tags, on=["movieId", "userId"], how="inner")

# Olhar a tabela criada
tags_amostragem 

# Salvar a tabela
tags_amostragem.to_pickle("Datasets/1.Datasets_Amostragem/tags_amostragem.pickle", compression="gzip") 

genome_tags.head(3)

# Selecionar as "tagId" que serão usadas no filtro
tag_array = np.array(tags_amostragem["tag"])

# Filtrar os "tag" da amostragem
genome_tags_amostragem = genome_tags.loc[genome_tags["tag"].isin(tag_array)]

# Olhar a tabela criada
genome_tags_amostragem

# Salvar a tabela "genome_tags_amostragem"
genome_tags_amostragem.to_pickle("Datasets/1.Datasets_Amostragem/genome_tags_amostragem.pickle", compression="gzip")

del genome_tags

genome_tags_amostragem = pd.read_pickle("Datasets/1.Datasets_Amostragem/genome_tags_amostragem.pickle", compression="gzip")

genome_scores.head(3)

# Selecionar as "tagId" que serão usadas no filtro
tagId_array = np.array(genome_tags_amostragem["tagId"])

# Filtrar os "tagId" da amostragem
genome_scores_amostragem = genome_scores.loc[genome_scores["tagId"].isin(tagId_array)]

# Olhar a tabela criada
genome_scores_amostragem

genome_scores_amostragem.to_pickle("Datasets/1.Datasets_Amostragem/genome_scores_amostragem.pickle", compression="gzip")